最近的研究表明,卷积神经网络(CNNS)不是图像分类的唯一可行的解决方案。此外,CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案,我们设计了使用峰值定时依赖性塑性(STDP)和其奖励调制变体(R-STDP)学习规则训练的本地连接的尖峰神经网络(SNN)。使用尖刺神经元和局部连接以及强化学习(RL)将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成,后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性,并评估我们有益于于不同目标响应的奖励系统的稳健性。
translated by 谷歌翻译
For satellite images, the presence of clouds presents a problem as clouds obscure more than half to two-thirds of the ground information. This problem causes many issues for reliability in a noise-free environment to communicate data and other applications that need seamless monitoring. Removing the clouds from the images while keeping the background pixels intact can help address the mentioned issues. Recently, deep learning methods have become popular for researching cloud removal by demonstrating promising results, among which Generative Adversarial Networks (GAN) have shown considerably better performance. In this project, we aim to address cloud removal from satellite images using AttentionGAN and then compare our results by reproducing the results obtained using traditional GANs and auto-encoders. We use RICE dataset. The outcome of this project can be used to develop applications that require cloud-free satellite images. Moreover, our results could be helpful for making further research improvements.
translated by 谷歌翻译
WSD (Word Sense Disambiguation) is the task of identifying which sense of a word is meant in a sentence or other segment of text. Researchers have worked on this task (e.g. Pustejovsky, 2002) for years but it's still a challenging one even for SOTA (state-of-the-art) LMs (language models). The new dataset, TempoWiC introduced by Loureiro et al. (2022b) focuses on the fact that words change over time. Their best baseline achieves 70.33% macro-F1. In this work, we use two different losses simultaneously to train RoBERTa-based classification models. We also improve our model by using another similar dataset to generalize better. Our best configuration beats their best baseline by 4.23% and reaches 74.56% macroF1.
translated by 谷歌翻译
当预测不久的将来的环境中的要素状态时,Endley情况意识模型的最高级别称为投影。在网络安全状况的意识中,对高级持续威胁(APT)的投影需要预测APT的下一步。威胁正在不断变化,变得越来越复杂。由于受监督和无监督的学习方法需要APT数据集​​来投影APT的下一步,因此他们无法识别未知的APT威胁。在强化学习方法中,代理与环境相互作用,因此它可能会投射出已知和未知APT的下一步。到目前为止,尚未使用强化学习来计划APTS的下一步。在强化学习中,代理商使用先前的状态和行动来近似当前状态的最佳动作。当状态和行动的数量丰富时,代理人采用神经网络,该网络被称为深度学习来近似每个州的最佳动作。在本文中,我们提出了一个深厚的加固学习系统,以预测APT的下一步。随着攻击步骤之间的某种关系,我们采用长期短期记忆(LSTM)方法来近似每个状态的最佳动作。在我们提出的系统中,根据当前情况,我们将投影APT威胁的下一步。
translated by 谷歌翻译
获取3D对象表示对于创建照片现实的模拟器和为AR/VR应用程序收集资产很重要。神经领域已经显示出其在学习2D图像的场景的连续体积表示方面的有效性,但是从这些模型中获取对象表示,并以较弱的监督仍然是一个开放的挑战。在本文中,我们介绍了Laterf,一种从给定的2D图像和已知相机姿势的2D图像中提取感兴趣对象的方法,对象的自然语言描述以及少数对象和非对象标签 - 输入图像中的对象点。为了忠实地从场景中提取对象,后来在每个3D点上都以其他“对象”概率扩展NERF公式。此外,我们利用预先训练的剪辑模型与我们可区分的对象渲染器相结合的丰富潜在空间来注入对象的封闭部分。我们在合成数据集和真实数据集上展示了高保真对象提取,并通过广泛的消融研究证明我们的设计选择是合理的。
translated by 谷歌翻译
在本文中,我们研究了一类二聚体优化问题,也称为简单的双重优化,在其中,我们将光滑的目标函数最小化,而不是另一个凸的约束优化问题的最佳解决方案集。已经开发了几种解决此类问题的迭代方法。 las,它们的收敛保证并不令人满意,因为它们要么渐近,要么渐近,要么是收敛速度缓慢且最佳的。为了解决这个问题,在本文中,我们介绍了Frank-Wolfe(FW)方法的概括,以解决考虑的问题。我们方法的主要思想是通过切割平面在局部近似低级问题的解决方案集,然后运行FW型更新以减少上层目标。当上层目标是凸面时,我们表明我们的方法需要$ {\ mathcal {o}}(\ max \ {1/\ epsilon_f,1/\ epsilon_g \})$迭代才能找到$ \ \ \ \ \ \ epsilon_f $ - 最佳目标目标和$ \ epsilon_g $ - 最佳目标目标。此外,当高级目标是非convex时,我们的方法需要$ {\ MATHCAL {o}}(\ max \ {1/\ epsilon_f^2,1/(\ epsilon_f \ epsilon_g})查找$(\ epsilon_f,\ epsilon_g)$ - 最佳解决方案。我们进一步证明了在“较低级别问题的老年人错误约束假设”下的更强的融合保证。据我们所知,我们的方法实现了所考虑的二聚体问题的最著名的迭代复杂性。我们还向数值实验提出了数值实验。与最先进的方法相比,展示了我们方法的出色性能。
translated by 谷歌翻译
激光加工是一种高度灵活的非接触式制造技术,在学术界和行业中广泛使用。由于光和物质之间的非线性相互作用,模拟方法非常重要,因为它们通过理解激光处理参数之间的相互关系来帮助增强加工质量。另一方面,实验处理参数优化建议对可用处理参数空间进行系统且耗时的研究。一种智能策略是采用机器学习(ML)技术来捕获Picsecond激光加工参数之间的关系,以找到适当的参数组合,以创建对工业级氧化铝陶瓷的所需削减,并具有深层,平滑和无缺陷的模式。激光参数,例如梁振幅和频率,扫描仪的传递速度以及扫描仪与样品表面的垂直距离的速度,用于预测深度,最高宽度和底部宽度使用ML型号雕刻通道。由于激光参数之间的复杂相关性,因此表明神经网络(NN)是预测输出最有效的。配备了ML模型,该模型可以捕获激光参数与雕刻通道尺寸之间的互连,可以预测所需的输入参数以实现目标通道几何形状。该策略大大降低了开发阶段实验激光加工的成本和精力,而不会损害准确性或性能。开发的技术可以应用于各种陶瓷激光加工过程。
translated by 谷歌翻译
We aim for image-based novelty detection. Despite considerable progress, existing models either fail or face a dramatic drop under the so-called "near-distribution" setting, where the differences between normal and anomalous samples are subtle. We first demonstrate existing methods experience up to 20% decrease in performance in the near-distribution setting. Next, we propose to exploit a score-based generative model to produce synthetic near-distribution anomalous data. Our model is then fine-tuned to distinguish such data from the normal samples. We provide a quantitative as well as qualitative evaluation of this strategy, and compare the results with a variety of GAN-based models. Effectiveness of our method for both the near-distribution and standard novelty detection is assessed through extensive experiments on datasets in diverse applications such as medical images, object classification, and quality control. This reveals that our method considerably improves over existing models, and consistently decreases the gap between the near-distribution and standard novelty detection performance. The code repository is available at https://github.com/rohban-lab/FITYMI.
translated by 谷歌翻译
在通过梯度下降训练过度参数化的模型函数时,有时参数不会显着变化,并且保持接近其初始值。该现象称为懒惰训练,并激发了对模型函数围绕初始参数的线性近似的考虑。在懒惰的制度中,这种线性近似模仿了参数化函数的行为,其相关内核称为切线内核,指定了模型的训练性能。众所周知,在宽度较大的(经典)神经网络的情况下进行懒惰训练。在本文中,我们表明,几何局部参数化量子电路的训练进入了大量Qubits的懒惰制度。更准确地说,我们证明了这种几何局部参数化量子电路的变化速率,以及相关量子模型函数的线性近似的精确度;随着Qubits的数量的增加,这两个边界都趋于零。我们通过数值模拟支持我们的分析结果。
translated by 谷歌翻译
勘探是基于深入强化学习(DRL)的无模型导航控制的基本挑战,因为针对目标驱动的导航任务的典型勘探技术依赖于噪声或贪婪的政策,这些策略对奖励的密度敏感。实际上,机器人总是在复杂的混乱环境中部署,其中包含密集的障碍和狭窄的通道,从而提高了很难探索训练的自然备用奖励。当预定义的任务复杂并且具有丰富的表现力时,这种问题变得更加严重。在本文中,我们专注于这两个方面,并为任务指导的机器人提供了一种深层的政策梯度算法,该机器人在复杂的混乱环境中部署了未知的动态系统。线性时间逻辑(LTL)用于表达丰富的机器人规范。为了克服训练期间探索的环境挑战,我们提出了一种新颖的路径计划引导奖励方案,该方案在状态空间上密集,并且至关重要的是,由于黑盒动力学而导致计算的几何路径的不可行性。为了促进LTL满意度,我们的方法将LTL任务分解为使用分布式DRL解决的子任务,在该子任务中,可以使用深层政策梯度算法并行培训子任务。我们的框架被证明可显着提高性能(有效性,效率)和对大规模复杂环境中复杂任务的机器人的探索。可以在YouTube频道上找到视频演示:https://youtu.be/yqrq2-ymtik。
translated by 谷歌翻译